Appearance
Statistical evidence in psychological networks
Summary
Problem: 心理网络模型在心理学和社会科学中日益流行，研究者常将边的存在或缺失解释为变量间条件关联的证据。然而，这些边所依赖的统计证据很少被评估。由于常用的正则化估计方法（如l1正则化）导致估计量的极限分布非高斯，自助法（bootstrap）无法有效构建置信区间或P值，因此需要替代方法来评估不确定性。此前仅有少数研究在贝叶斯框架下对单一数据集进行再分析，已发表网络结果的稳健性仍不清楚。 Approach: 作者采用大规模贝叶斯再分析方法。他们按照PRISMA指南系统检索了2010年1月至2023年3月间发表的心理网络论文，筛选出符合标准的论文并请求原始数据，最终纳入126篇论文中的293个横断面网络。使用贝叶斯方法重新估计这些网络，计算每条边的包含贝叶斯因子（inclusion Bayes factor, BF10），用以量化边存在或缺失的证据强度，并分析证据强度与相对样本量（每个边的观测数）及边权重（偏相关）之间的关系。 Finding: 研究发现，已发表心理网络中约三分之一（31.7%）的边证据不明确（1/3 < BF10 < 3），约一半（49.7%）的边仅有弱证据（BF10 > 3 或 BF10 < 1/3），只有不到20%的边获得强证据支持（BF10 > 10 或 BF10 < 1/10）。相对样本量是证据强度的关键决定因素：相对样本量越大，证据越充分。此外，边权重（效应量）的大小并不必然对应更强的证据，在中等偏相关范围（如0.1至0.2）内，不同证据类别的边大量重叠。 Significance: 该研究首次大规模量化了心理网络研究中统计证据不足的普遍程度，表明许多网络边的存在或缺失缺乏足够的数据支持。这一发现提醒研究者在解释和报告网络结果时需保持谨慎，尤其是在网络结果被用于临床决策或理论构建时。研究还提供了开放获取网站ReBayesed，供研究者评估已发表横断面网络的统计支持，并为未来通过贝叶斯证据累积方法推进累积性科学提供了方向。
Theoretical Framework
- Theoretical tradition: 该论文属于心理测量学（psychometrics）和贝叶斯统计推断传统，具体涉及心理网络模型（psychometric network models）的方法论研究。
- Prior theories built upon: 论文建立在心理网络模型的理论框架之上，该框架将心理构念（如心理健康、智力、人格）重新概念化为多变量系统的涌现属性。具体引用的模型包括高斯图模型（Gaussian graphical model, GGM），以及贝叶斯网络分析方法（如矩阵F先验分布）。论文还引用了关于网络方法稳健性担忧的文献（如Epskamp等关于正则化估计局限性的工作）。
- Causal mechanism: 论文的核心机制是：网络模型是高度参数化的模型，需要足够大的样本量（相对于参数数量）才能获得可靠的推断。当观测数相对于可能的边数不足时，数据无法区分边存在与不存在的模型，导致贝叶斯因子落在不明确区间。相对样本量通过影响参数估计的精度，进而决定证据强度。
- Key assumptions: 论文假设：(1) 贝叶斯因子是量化统计证据的有效工具；(2) 所采用的先验分布（矩阵F分布）是合理的默认选择；(3) 已发表论文中报告的网络是基于横断面数据估计的GGM；(4) 纳入分析的论文能够提供可复现的原始数据。
- Theoretical move: 该论文应用了已有的贝叶斯网络估计方法，将其大规模应用于已发表的实证网络，从而检验了心理网络研究领域的普遍实践。论文并未提出新的理论，而是对现有方法论的实践状况进行了系统性评估，并挑战了研究者通常将边权重大小等同于证据强度的隐含假设。
- Scope conditions: 论文的结论适用于横断面心理网络（cross-sectional networks），即基于单一时间点数据估计的GGM。结论不直接推广到纵向网络设计（论文指出纵向设计中每个个体时间点较少，证据支持可能更弱）。此外，证据类别的百分比依赖于所选择的BF阈值，改变阈值会改变结果。
Research Design
该研究采用系统性综述与再分析（systematic review and reanalysis）设计，属于混合方法（结合了系统文献检索和定量再分析）。分析单元是已发表论文中的单个网络（network）及其中的每条边（edge）。关键自变量为相对样本量（每个边的观测数，即样本量除以可能的边数p(p−1)/2）和边权重（偏相关）。关键因变量为每条边的包含贝叶斯因子BF10，用于衡量边存在相对于不存在的证据强度。BF10按惯例分为五类：强证据支持缺失（BF10 < 1/10）、弱证据支持缺失（BF10 < 1/3）、证据不明确（1/3 < BF10 < 3）、弱证据支持存在（BF10 > 3）、强证据支持存在（BF10 > 10）。
Data & Sample
研究纳入126篇已发表论文，共293个横断面网络。论文发表于2015年至2023年间。样本量范围为23至388,286例，中位数为467。变量数范围为3至86，中位数为14。每个边的观测数（相对样本量）范围从不足1到7,060，中位数为5。网络主要来自临床心理学（k = 147），其次为人格心理学（k = 49）和社会心理学（k = 31），另有公共健康（k = 5）、教育（k = 5）、诊断（k = 5）和组织心理学（k = 2）等子领域，以及未归类子领域（k = 50）。数据收集过程为：系统检索（数据库检索和引文追踪）识别4,720篇独特论文，经标题和摘要筛选后1,423篇符合条件，邀请作者填写问卷，收到443份回复，最终126篇论文满足全部纳入标准（愿意分享原始数据、使用心理测量变量作为节点、估计GGM、能够复现原始论文中的描述性统计）。数据来源为已发表论文作者提供的原始数据。
Analytical Strategy
主要分析方法是贝叶斯网络估计，使用矩阵F先验分布对边权重进行建模，计算每条边的包含贝叶斯因子BF10。论文将BF值按科学惯例分为五类证据等级。分析包括：(1) 描述所有网络中边证据类别的分布；(2) 将网络按相对样本量分为十组（每组网络数量相等），考察证据强度与相对样本量的关系；(3) 考察边权重（偏相关）与证据强度的对应关系，计算平方偏相关与BF之间的相关性（按相对样本量分组：'many' = 0.66，'moderate' = 0.61，'fewest' = 0.57，'most' = 0.52）。稳健性检验包括：(1) 先验敏感性分析——改变先验分布的标准差，观察结果变化；(2) 比较主网络（论文中首先讨论的网络）与补充网络的证据分布；(3) 将贝叶斯估计的边权重与频率派估计进行比较。
Results & Findings
- 证据分布总体情况：在所有293个网络的全部边中，31.7%的边证据不明确（1/3 < BF10 < 3），49.7%的边仅有弱证据（弱支持存在4.4%，弱支持缺失45.2%），13%的边有强证据支持存在，5.7%的边有强证据支持缺失。这意味着超过80%的边缺乏足够证据支持稳健推断。这一发现表明，已发表网络中大多数边的存在或缺失决策仅得到数据弱支持或无法判断，研究者对具体边的结论可能被夸大，部分可能不正确。
- 相对样本量与证据强度的关系：相对样本量是证据强度的关键决定因素。在观测数最少的组（每边0.1–0.6个观测），55.9%的边证据不明确，仅5.3%的边有证据支持存在；而在观测数最多的组（每边超过61个观测），仅11.1%的边证据不明确，68.7%的边有强证据支持存在。然而，高相对样本量并不保证结论性证据——在相似相对样本量下，证据强度存在巨大变异，可能与效应强度等因素有关。这一发现支持了论文的预期假设：数据量不足是导致证据不充分的主要原因。
- 子领域和样本类型的差异：不同心理学子领域的网络相对样本量不同，组织心理学中位数最高（15.2），其次为诊断（11.3）、公共健康（8.4）和人格（6.5）。在临床心理学中，来自普通人群的样本比临床样本具有更高的相对样本量，因此获得更多统计证据支持。这表明证据不足的问题在临床样本中尤为突出。
- 边权重与证据强度的关系：较大的边权重并不必然对应更强的证据。偏相关范围从−0.68到0.92，多数落在−0.10到0.20之间。证据不明确的边其偏相关范围从−0.38到0.38，与弱或强证据的边存在大量重叠。在偏相关0.1至0.2（及−0.2至−0.1）范围内，不明确、弱和强证据的边均有大量出现。甚至有些偏相关仅为0.01的边获得了证据支持存在。这表明研究者仅关注最强边并不能避免证据不足的风险。在相对样本量较高的网络中，边权重与证据的对应关系更清晰。
- 稳健性检验结果：先验敏感性分析显示，改变先验标准差会影响结果，特别是证据支持缺失的边比例（从18.5%降至3.4%）和证据不明确的边比例（从23%升至37.6%），但证据支持存在的边比例变化不大（12.3%至13.3%）。主网络与补充网络的证据分布相似，表明主网络并不天然更适合稳健推断。贝叶斯与频率派估计的边权重方向一致，绝对值差异大多不超过0.1（小效应量差异）。
Limitations
作者承认以下局限性：(1) BF阈值（1/3、3、1/10、10）是主观选择，反映了科学惯例而非BF的内在属性，改变阈值会改变各证据类别的百分比。(2) 结果对先验分布的标准差选择敏感，特别是影响证据支持缺失和不明确的边比例。(3) 纳入的论文仅占符合条件的1,423篇论文中的126篇（回复率31.13%），可能存在选择偏差——愿意分享数据的作者可能系统性地不同于不愿分享的作者。(4) 研究仅关注横断面网络，纵向网络设计（每个个体时间点较少）的证据支持可能更弱。(5) 论文指出，统计证据不足只是网络应用面临的挑战之一，其他挑战包括模型未区分个体内和个体间效应、采样频率不足、大量缺失数据、函数误设和相关变量遗漏等。
Key Contributions
- 首次对已发表心理网络进行大规模贝叶斯再分析（293个网络，126篇论文），系统量化了网络边证据强度的分布。
- 揭示了超过80%的网络边仅有弱证据或证据不明确，约半数边的包含/排除决策仅得到弱数据支持。
- 确立了相对样本量（每个边的观测数）作为证据强度的关键决定因素，为研究者提供了样本量规划的参考依据。
- 证明边权重（效应量）大小不能替代统计证据，打破了"强边即强证据"的直觉假设。
- 提供了开放获取网站ReBayesed（https://uvasobe.shinyapps.io/ReBayesed/），供研究者评估已发表横断面网络的统计支持。
- 区分了"证据支持缺失"（evidence of absence）与"缺乏证据"（absence of evidence），为解释网络边缺失提供了清晰的概念框架。
- 提出了通过贝叶斯证据累积（序贯更新先验和BF、复制BF、贝叶斯证据综合）推进累积性心理网络科学的未来方向。
Key Claims
"Here we show that a large proportion of reported network findings is based on weak or inconclusive evidence." (Abstract)
"Across the studies, one-third of edges showed inconclusive evidence (1/3 < inclusion Bayes factor (BF10) < 3), about half showed weak evidence (BF10 > 3 or BF10 < 1/3) and fewer than 20% were strongly supported (BF10 > 10 or BF10 < 1/10)." (Abstract)
"Our study shows that networks are often supported by too little evidence from the data for the results to be reported with confidence, not meaning that the results are flawed but, rather, suggesting caution in interpreting individual edges." (Abstract)
"The ability to distinguish between evidence of absence (that is, a relationship is probably not present) and absence of evidence (that is, the data are insufficient to decide) is particularly powerful." (Discussion)
"Without explicitly evaluating the strength of evidence behind network results, there is a risk of overconfidence and unwarranted conclusions, both in applied and theoretical contexts." (Discussion)